Năm thứ 4 (505), nhà Lương tiến hành bắc phạt, triều đình giáng chiếu cho Duệ làm Đô đốc chúng quân. Duệ sai Trưởng sử Vương Siêu Tông, Lương Quận thái thú Phùng Đạo Căn đánh thành Tiểu Hiện của Bắc Ngụy, nhưng chưa được. Duệ đang xem xét vòng vây, bất chợt có vài trăm người từ trong thành xông ra; Duệ muốn đánh ngay, chư tướng đều nói: “Chúng ta trang bị nhẹ đến đấy, chưa có chuẩn bị, hãy thong thả trở về để mặc giáp, mới có thể tiến đánh.” Duệ nói: “Không nên! Trong thành người Ngụy có hơn 2000, đóng cửa cố thủ, đủ để tự bảo vệ, vô cớ xông ra ngoài, ắt là kẻ kiêu dũng đấy, nếu có thể bẻ gãy, thành này sẽ tự vỡ.” Mọi người còn do dự, Duệ trỏ cờ tiết mà nói rằng: “Triều đình trao thứ này, không phải để tranh sức; quân pháp của Vi Duệ, không thể phạm được!” rồi tiến binh. Quân Lương đều liều chết chiến đấu, quân Ngụy quả nhiên thua chạy. Quân Lương thừa thắng đánh gấp, đến nửa đêm thì phá được thành. Sau đó, Duệ tiến đến Hợp Phì.

Từ trước, bọn Hữu quân tư mã Hồ Cảnh Lược [4] đến Hợp Phì, đánh thành đã lâu mà chưa hạ được; Duệ khảo sát sông núi, nói: “Tôi nghe Phần Thủy có thể tưới Bình Dương, Giáng Thủy có thể tưới An Ấp, tức là thế này đấy.” Rồi đắp đập ngăn dòng Phì Thủy, tự mình đốc thúc. Ít lâu sau, đập làm xong thì cho nước chảy vào, thuyền hạm nối nhau kéo đến. Ban đầu người Ngụy chia ra dựng 2 thành nhỏ ở đông – tây kèm cặp Hợp Phì, Duệ trước tiên đánh 2 thành ấy. Bấy giờ tướng Ngụy là Dương Linh Dận soái 5 vạn viện binh chợt đến, mọi người sợ không địch nổi, đề nghị dâng biểu xin thêm binh. Duệ cười nói: “Giặc đã ở dưới thành, bây giờ mới cầu xin quân đội, nước đến chân mới chảy, liệu có kịp không [5]? Huống hồ ta xin viện quân, họ lại lấy nhiều binh hơn nữa, cũng như Ngô thêm quân Ba Khâu, Thục tăng binh Bạch Đế [6]. Quân đội thắng lợi ở nhân hòa, không ở số nhiều, là nghĩa lý người xưa đã dạy đấy!” Duệ vẫn cùng quân Ngụy giao chiến, phá được, khiến lòng quân dần an định.

Ban đầu, đập Phì Thủy làm xong, Duệ sai Quân chủ Vương Hoài Tĩnh đáp thành ở trên bờ để giữ, quân Ngụy chiếm được thành ấy, hơn ngàn người đều mất đi. Người Ngụy thừa thắng kéo đến dưới đê, khí thế rất hăng, Quân giám Phan Lĩnh Hữu khuyên Duệ lùi về Sào Hồ, chư tướng lại xin chạy đi giữ Tam Xoa. Duệ giận nói: “Ta thà ở đây! Tướng quân thua trận thì chết, có tiến không lui!” Duệ bèn lệnh cho dựng lọng che, cờ phướn ở dưới đê, thể hiện chí không lay động. Duệ vốn gầy yếu, khi ra trận chưa từng cưỡi ngựa, mà tự đánh xe ngựa đóng bằng ván mỏng, đốc thúc binh sĩ. Lính Ngụy đến đào đê, Duệ đích thân tranh chấp với địch, quân Ngụy dần lui; nhân đó quân Lương đắp lũy ở để để cố thủ. Duệ đẩy Đấu hạm [7] cao bằng mặt thành, 4 mặt xô vào, khiến người Ngụy tuyệt vọng, ôm nhau mà khóc. Công cụ đánh thành thì quân Lương đã có, nước trong đập cũng đã đầy, nên cứu binh của Bắc Ngụy không thể làm gì được nữa. Tướng giữ thành của Ngụy là Đỗ Nguyên Luân lên thành đốc chiến, trúng nỏ mà chết, thành vỡ. Quân Lương giành được hơn vạn thủ cấp, hơn vạn bò ngựa, lụa chất 10 gian phòng, đều sung làm quân thưởng.

Chiếm được Hợp Phì, Lương Vũ đế giáng chiếu cho Duệ tiến đến Đông Lăng, nơi ấy chỉ cách Bích Thành của Bắc Ngụy 20 dặm. Đôi bên sắp giao chiến, Duệ nhận chiếu cho lui quân. Vì kẻ địch ở gần, Duệ sợ bị đuổi nà, bèn cho quân nhu đi trước, tự mình ngồi xe nhỏ chặn hậu; người Ngụy khâm phục uy danh của Duệ, chỉ dám nhìn theo mà không dám đuổi theo, nên quân Lương được bảo toàn. Từ đây nhà Lương dời trị sở Dự Châu đến Hợp Phì.